转移学习是一种经典范式，通过该范式，在大型“上游”数据集上佩戴的模型适于在“下游”专业数据集中产生良好的结果。通常，据了解，“上游”数据集上的更准确的模型将提供更好的转移精度“下游”。在这项工作中，我们在想象的神经网络（CNNS）的背景下对这种现象进行了深入的调查，这些现象已经在想象的数据集上训练的情况下被修剪 - 这是通过缩小它们的连接来压缩。具体地，我们考虑使用通过应用几种最先进的修剪方法而获得的非结构化修剪模型的转移，包括基于幅度的，二阶，重新增长和正规化方法，在12个标准转移任务的上下文中。简而言之，我们的研究表明，即使在高稀稀物质，稀疏的型号也可以匹配或甚至优于致密模型的转移性能，并且在此操作时，可以导致显着的推论甚至培训加速度。与此同时，我们观察和分析不同修剪方法行为的显着差异。
translated by 谷歌翻译
深度神经网络（DNN）的计算要求增加导致获得稀疏，且准确的DNN模型的兴趣。最近的工作已经调查了稀疏训练的更加困难的情况，其中DNN重量尽可能稀少，以减少训练期间的计算成本。现有的稀疏训练方法通常是经验的，并且可以具有相对于致密基线的准确性较低。在本文中，我们介绍了一种称为交替压缩/解压缩（AC / DC）训练DNN的一般方法，证明了算法变体的收敛，并表明AC / DC在类似的计算预算中准确地表现出现有的稀疏训练方法;在高稀疏水平下，AC / DC甚至优于现有的现有方法，依赖于准确的预训练密集模型。 AC / DC的一个重要属性是它允许联合培训密集和稀疏的型号，在训练过程结束时产生精确的稀疏密集模型对。这在实践中是有用的，其中压缩变体可能是为了在资源受限的设置中进行部署而不重新执行整个训练流，并且还为我们提供了深入和压缩模型之间的精度差距的见解。代码可在：https://github.com/ist-daslab/acdc。
translated by 谷歌翻译
Anomaly Detection is a relevant problem that arises in numerous real-world applications, especially when dealing with images. However, there has been little research for this task in the Continual Learning setting. In this work, we introduce a novel approach called SCALE (SCALing is Enough) to perform Compressed Replay in a framework for Anomaly Detection in Continual Learning setting. The proposed technique scales and compresses the original images using a Super Resolution model which, to the best of our knowledge, is studied for the first time in the Continual Learning setting. SCALE can achieve a high level of compression while maintaining a high level of image reconstruction quality. In conjunction with other Anomaly Detection approaches, it can achieve optimal results. To validate the proposed approach, we use a real-world dataset of images with pixel-based anomalies, with the scope to provide a reliable benchmark for Anomaly Detection in the context of Continual Learning, serving as a foundation for further advancements in the field.
translated by 谷歌翻译
底面图像中的自动化视盘（OD）和光杯（OC）分割与有效测量垂直杯盘比率（VCDR）是一种在眼科中常用的生物标志物，以确定胶状神经神经病变的程度。通常，这是使用粗到1的深度学习算法来解决的，其中第一阶段近似于OD，第二阶段使用该区域的作物来预测OD/OC掩码。尽管这种方法广泛应用于文献中，但尚无研究来分析其对结果的真正贡献。在本文中，我们介绍了使用5个公共数据库的不同粗到精细设计的全面分析，包括从标准分割的角度以及估算青光眼评估的VCDR。我们的分析表明，这些算法不一定超过标准的多级单阶段模型，尤其是当这些算法是从足够大而多样化的训练集中学习的。此外，我们注意到粗糙阶段比精细的OD分割结果更好，并且在第二阶段提供OD监督对于确保准确的OC掩码至关重要。此外，在多数据集设置上训练的单阶段和两阶段模型都表现出对成对的结果，甚至比其他最先进的替代方案更好，同时排名第一的OD/OC分段。最后，我们评估了VCDR预测的模型与Airogs图像子集中的六个眼科医生相比，以在观察者间可变性的背景下理解它们。我们注意到，即使从单阶段和粗至细节模型中恢复的VCDR估计值也可以获得良好的青光眼检测结果，即使它们与专家的手动测量不高度相关。
translated by 谷歌翻译